从0开始学Pytorch:激活函数与卷积层基础讲解

### 激活函数与卷积层概述 **激活函数**:神经网络需非线性变换拟合复杂关系,激活函数引入非线性。常见函数: - **ReLU**:`y = max(0, x)`,计算简单,解决梯度消失,最常用(PyTorch:`nn.ReLU()`)。 - **Sigmoid**:`y = 1/(1+exp(-x))`,输出(0,1)用于二分类,但梯度消失(PyTorch:`nn.Sigmoid()`)。 - **Tanh**:`y=(exp(x)-exp(-x))/(exp(x)+exp(-x))`,输出(-1,1),均值0,易训练但仍有梯度消失(PyTorch:`nn.Tanh()`)。 **卷积层**:CNN核心,通过卷积核提取局部特征。基本概念:输入(如RGB图像,形状`(batch, in_channels, H, W)`)、卷积核(小矩阵)、步长(滑动像素数)、填充(边缘补0控输出尺寸)。PyTorch用`nn.Conv2d`实现,关键参数:`in_channels`(输入

阅读全文